Adaptive Modality Reliability Diagnosis and Restoration for Robust Multimodal Intent Recognition
自适应模态可靠性诊断与恢复的鲁棒多模态意图识别
🧭 多模态融合可靠性诊断与修复
提出闭环诊断-修复-重评估框架PRIME，用异方差不确定性估计模态弱项并修复，提升多模态融合鲁棒性
📌 工作参考价值（4 点）
- 多模态特征可靠性诊断机制可复用：利用预测置信度、认知分歧、跨模态一致性、特征退化等作为诊断证据，估计各模态的对数方差，可用于电商推荐中文本、图像、行为序列等模态的质量评估，动态决定融合权重。
- 受控损坏训练思路：在无真实可靠性标注时，通过人为注入已知严重程度的模态损坏（如Mask、噪声）并配合异方差损失，直接学习可靠性估计器。这种训练范式可迁移到推荐模型的鲁棒性训练中，低成本获得模态不确定性感知能力。
- 原型条件变分修复模块：对于低质量模态，不是简单丢弃或降权，而是用其他高可靠模态的信息驱动变分自编码器进行重建，并根据修复后的可靠性重新评估是否参与融合。这一思路可应用于特征缺失或噪声场景下的特征补全与二次判断。
- 逆方差融合实现自适应集成：以后修复的可靠性精度为权重进行多模态融合，自动削弱不可靠模态的贡献。在广告、搜索的多信号融合（如CTR预估中内容与行为特征融合）中可直接套用，提升对噪声输入和模态缺失的鲁棒性。